PAIChecker: Uncovering and Checking PR-Issue Misalignment in SWE-Bench-Like Benchmarks
PAIChecker：检测类SWE-Bench基准中PR与Issue错位的多智能体系统
🧭 多智能体系统用于基准数据质量检测
The Chinese University of Hong Kong, Shenzhen
提出多智能体系统PAIChecker，三阶段渐进式验证PR-Issue错位，准确率达92%
📌 工作参考价值（4 点）
- 多智能体协作的三阶段验证模式（模式识别→交叉智能体合成标签→代码级验证）可迁移到搜索推荐的数据质检流程，例如检查Query与商品描述的语义一致性、广告文案合规性等。
- 交叉智能体标签合成利用多个LLM实例投票/辩论增强判断鲁棒性，类似Ensemble方法，可用于需要高可靠性的标注纠错、内容审核或A/B指标归因。
- 结合静态代码分析的最终验证阶段，启发我们在RAG生成答案后增加确定性规则校验（如商品属性冲突检测），提升可信度。
- 论文对基准错位的系统模式分析，提醒从业者在构建内部评测集时需检查黄金标准的隐性偏差，避免“垃圾进垃圾出”影响模型迭代方向。